在本文中，我们研究了一个通用贝叶斯估计的学习率，在一个通用的环境中，假设类可以是不可数的并且具有不规则形状，损失函数可以具有重尾，最佳假设可能不是唯一的。我们证明，在多尺寸的伯尔尼斯坦的病情下，广义的后验分布集中在最佳假设围绕和广义贝叶斯估计器可以实现快速学习率。我们的结果适用于标准贝叶斯线性回归对重尾部分布稳健。
translated by 谷歌翻译
客户端之间的非独立和相同分布（非IID）数据分布被视为降低联合学习（FL）性能的关键因素。处理非IID数据（如个性化FL和联邦多任务学习（FMTL）的几种方法对研究社区有很大兴趣。在这项工作中，首先，我们使用Laplacian正规化制定FMTL问题，明确地利用客户模型之间的关系进行多任务学习。然后，我们介绍了FMTL问题的新视图，首次表明配制的FMTL问题可用于传统的FL和个性化FL。我们还提出了两种算法FEDU和DFEDU，分别解决了通信集中和分散方案中的配制FMTL问题。从理论上讲，我们证明了两种算法的收敛速率实现了用于非凸起目标的强大凸起和载位加速的线性加速。实验，我们表明我们的算法优于FL设置的传统算法FedVG，在FMTL设置中的Mocha，以及个性化流程中的PFEDME和PER-FEDAVG。
translated by 谷歌翻译
Temporal Graph Neural Network (TGNN) has been receiving a lot of attention recently due to its capability in modeling time-evolving graph-related tasks. Similar to Graph Neural Networks, it is also non-trivial to interpret predictions made by a TGNN due to its black-box nature. A major approach tackling this problems in GNNs is by analyzing the model' responses on some perturbations of the model's inputs, called perturbation-based explanation methods. While these methods are convenient and flexible since they do not need internal access to the model, does this lack of internal access prevent them from revealing some important information of the predictions? Motivated by that question, this work studies the limit of some classes of perturbation-based explanation methods. Particularly, by constructing some specific instances of TGNNs, we show (i) node-perturbation cannot reliably identify the paths carrying out the prediction, (ii) edge-perturbation is not reliable in determining all nodes contributing to the prediction and (iii) perturbing both nodes and edges does not reliably help us identify the graph's components carrying out the temporal aggregation in TGNNs.
translated by 谷歌翻译
Artificial intelligence methods including deep neural networks (DNN) can provide rapid molecular classification of tumors from routine histology with accuracy that matches or exceeds human pathologists. Discerning how neural networks make their predictions remains a significant challenge, but explainability tools help provide insights into what models have learned when corresponding histologic features are poorly defined. Here, we present a method for improving explainability of DNN models using synthetic histology generated by a conditional generative adversarial network (cGAN). We show that cGANs generate high-quality synthetic histology images that can be leveraged for explaining DNN models trained to classify molecularly-subtyped tumors, exposing histologic features associated with molecular state. Fine-tuning synthetic histology through class and layer blending illustrates nuanced morphologic differences between tumor subtypes. Finally, we demonstrate the use of synthetic histology for augmenting pathologist-in-training education, showing that these intuitive visualizations can reinforce and improve understanding of histologic manifestations of tumor biology.
translated by 谷歌翻译
在过去的几年中，已经引入了许多基于输入数据扰动的解释方法，以提高我们对黑盒模型做出的决策的理解。这项工作的目的是引入一种新颖的扰动方案，以便可以获得更忠实和强大的解释。我们的研究重点是扰动方向对数据拓扑的影响。我们表明，在对离散的Gromov-Hausdorff距离的最坏情况分析以及通过持久的同源性的平均分析中，沿输入歧管的正交方向的扰动更好地保留了数据拓扑。从这些结果中，我们引入EMAP算法，实现正交扰动方案。我们的实验表明，EMAP不仅改善了解释者的性能，而且还可以帮助他们克服最近对基于扰动的方法的攻击。
translated by 谷歌翻译
尽管最近关于了解深神经网络（DNN）的研究，但关于DNN如何产生其预测的问题仍然存在许多问题。特别是，给定对不同输入样本的类似预测，基本机制是否会产生这些预测？在这项工作中，我们提出了Neucept，这是一种局部发现关键神经元的方法，该神经元在模型的预测中起着重要作用，并确定模型的机制在产生这些预测中。我们首先提出一个关键的神经元识别问题，以最大程度地提高相互信息目标的序列，并提供一个理论框架，以有效地解决关键神经元，同时控制精度。Neucept接下来以无监督的方式学习了不同模型的机制。我们的实验结果表明，Neucept鉴定的神经元不仅对模型的预测具有强大的影响，而且还具有有关模型机制的有意义的信息。
translated by 谷歌翻译
现有的最新3D点云实例分割方法依赖于基于分组的方法，该方法指向获得对象实例。尽管产生准确的分割结果方面有所改善，但这些方法缺乏可扩展性，通常需要将大量输入分为多个部分。为了处理数百万点的场景，现有的最快方法软组\ cite {vu2022222222222222222222222222222222222222ggroup}需要数十秒钟，这是满意的。我们的发现是，$ k $ neart的邻居（$ k $ -nn）是分组的先决条件，是计算瓶颈。这种瓶颈严重使现场的推理时间恶化了很多。本文提出了软组++来解决此计算瓶颈，并进一步优化了整个网络的推理速度。 SoftGroup ++建立在软组上，这在三个重要方面有所不同：（1）执行OCTREE $ K $ -NN而不是Vanilla $ k $ -nn，以将时间复杂性从$ \ Mathcal {o}（n^2）缩短到$ \ Mathcal {o}（n \ log n）$，（2）执行金字塔缩放，适应性下降样本骨干输出以减少$ k $ -nn和分组的搜索空间，并且（3）执行后期的Devoxelization，延迟了Voxels的转换指向模型的结束，以使中间组件以低计算成本运行。在各种室内和室外数据集上进行了广泛的实验，证明了拟议的软组++的功效。值得注意的是，SoftGroup ++在一个前方的情况下通过单个前方进行了大量的场景，而无需将输入分为多个部分，从而丰富了上下文信息。特别是，SoftGroup ++达到2.4点AP $ _ {50} $改进，而$ 6 \ $ 6 \ times $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $。代码和训练有素的模型将公开可用。
translated by 谷歌翻译
我们分析了通过从源到目标任务转移学习训练的深度学习模型的新泛化界限。我们的边界利用一个称为多数预测器准确性的数量，可以从数据中有效地计算出来。我们表明我们的理论在实践中很有用，因为这意味着大多数预测指标的准确性可以用作可转移性度量，这一事实也通过我们的实验验证。
translated by 谷歌翻译
ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。
translated by 谷歌翻译
时间图神经网络（TGNN）由于能够捕获图形拓扑依赖性和非线性时间动力学的能力而广泛用于建模与图形相关的任务。TGNN的解释对于透明和值得信赖的模型至关重要。但是，复杂的拓扑结构和时间依赖性使解释TGNN模型非常具有挑战性。在本文中，我们为TGNN模型提出了一个新颖的解释器框架。给定图表上的时间序列待解释，该框架可以在一个时间段内以概率图形模型的形式识别出主要的解释。关于运输域的案例研究表明，所提出的方法可以在一段时间内发现道路网络中的动态依赖性结构。
translated by 谷歌翻译